最新进展 | Android 自定义机器学习堆栈
相较于服务器端机器学习 (ML),设备端机器学习有其独特的优势,如支持离线使用、延迟更低、隐私性更高和推理成本更低,因此 Android 中设备端机器学习的使用迅速增长。
在构建基于设备端 ML 的功能时,Android 开发者通常有两种选择: 要么使用生产就绪型 SDK (包含经过预训练和优化的 ML 模型),例如机器学习套件;要么在需要加强控制时,设置专属的自定义 ML 模型和功能。
Android 自定义 ML 堆栈是一组用于在 Android 上部署自定义 ML 功能的基本 API 及服务,我们将为您介绍一些关于该堆栈的更新。
Google Play 服务中的 TensorFlow Lite 现已成为 Android 的官方 ML 推理引擎
在 2021 年 Google I/O 大会上,我们首次宣布在 Google Play 服务中推出早期预览版的 TensorFlow Lite,作为独立 TensorFlow Lite 的替代方案。从发布至今不断发展,现在每个月通过数万个应用为数十亿用户提供服务。近期,我们在 Google Play 服务中发布了 TensorFlow Lite 的稳定版本,并且将其打造为 Android 的官方 ML 推理引擎。
在 Google Play 服务中使用 TensorFlow Lite 不仅可让您缩减二进制文件大小,还能通过自动更新获得性能提升,来确保您从 Android 自定义 ML 堆栈中轻松集成新 API 和服务,因为这些 API 和服务将在我们的官方推理引擎上进行构建。
如果您目前计划将 TensorFlow Lite 绑定到应用中,请查看文档进行迁移:
https://www.tensorflow.org/lite/android/play_services
TensorFlow Lite 委托现在可通过 Google Play 服务分发
我们在几年前发布的 GPU 委托和 NNAPI 委托,可以让您充分利用 GPU、DSP 或 NPU 等专用硬件的处理能力。现在,GPU 和 NNAPI 委托都可以通过 Google Play 服务分发。
我们也深知部分开发者希望在高级用例中直接使用自定义委托,因此正积极与硬件合作伙伴协作,致力于通过 Google Play 服务来扩大对其自定义委托的访问。
借助 Acceleration Service 选择最合适的 TensorFlow Lite 委托,在运行时实现最佳性能
在 Android 中,由于硬件差异,为每位用户确定最佳委托颇为复杂。为帮助您应对这一挑战,我们正在构建新的 API,以便您在运行时为 TensorFlow Lite 模型安全地优化硬件加速配置。
我们计划在明年年初公开发布 Acceleration Service,现阶段用户可通过申请获取早期预览版:
持续打造 Android 自定义 ML 堆栈
我们致力于为 Android 的高性能自定义设备端 ML 提供必备资源。
Google Play 服务中用于高性能设备端推理的 TensorFlow Lite
用于获取硬件加速的 TensorFlow Lite 委托
我们将于不久后发布 Acceleration Service,帮助您在运行时选择最佳委托。
如需阅读并了解关于 Android 自定义机器学习堆栈的最新资讯,您可以访问官方网站:
推荐阅读